1. Kiến Trúc của Các Chuyển Tiếp Trạng Thái
Hãy xem xét logic của thời tiết. Nếu ta giả sử mưa hôm nay là yếu tố duy nhất ảnh hưởng đến ngày mai, ta sẽ bước vào lĩnh vực động lực học Markov. Điều này được mô tả tinh tế trong VÍ DỤ 2a:
Điều này tạo ra ma trận chuyển tiếp $P$, nơi ta có thể tính toán dòng xác suất tương lai bằng cách sử dụng Định lý Chapman-Kolmogorov:
$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$
2. Nhịp Điệu Đến
Sự ngẫu nhiên không chỉ là về nơi ta đi tới, mà còn là về khi nào các sự kiện xảy ra. Trong quá trình Poisson, ta theo dõi các sự kiện rời rạc (như động đất hoặc phân rã phóng xạ) theo thời gian.
- Khoảng Thời Gian Giữa Các Sự Kiện: Với một quá trình Poisson, gọi $T_1$ là thời điểm xảy ra sự kiện đầu tiên. Với $n > 1$, gọi $T_n$ là khoảng thời gian trôi qua giữa sự kiện thứ $(n-1)$ và sự kiện thứ $n$.
- Tính ổn định: Dãy số $\{T_n, n=1, 2, \ldots\}$ gồm các biến ngẫu nhiên độc lập phân bố mũ, tuân theo tỷ lệ $\lambda$.
3. Thông Tin Là Sự Giảm Bớt Sự Ngạc Nhiên
Lý thuyết thông tin, khởi nguồn từ Claude Shannon, đo lường mức độ bất định. Nó dựa trên nền tảng đại số tinh tế, cụ thể là Tiêu chuẩn 4:
Tiêu chuẩn 4: $S(pq) = S(p) + S(q)$ với $0 < p \le 1, 0 < q \le 1$
Tiêu chuẩn này ngụ ý rằng mức độ ngạc nhiên của hai sự kiện độc lập bằng tổng các mức ngạc nhiên riêng biệt của chúng, dẫn trực tiếp đến định nghĩa của Entropy Shannon:
$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$